{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "''' \n",
    "怪怪的注意点被拉到了前面：\n",
    "    1.回归与分类的区别：\n",
    "        1.输出不同：\n",
    "            1.分类：定性 ； 回归：定量\n",
    "            2.分类：样本属性类别 ； 回归：样本属性的值\n",
    "        2.目的不同： 分类：找决策边界 ； 回归：找到最优拟合\n",
    "        3.结果不同：\n",
    "            分类正误分明，回归仅进行预测和拟合\n",
    "'''"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "'''\n",
    "1.机器学习的定义:\n",
    "    1.对于某类任务T和性能度量P，一个计算机程序被认为可以从经验E中学习，通过经验E的改进后，它在任务T上的性能度量P有所提高\n",
    "    2.机器学习是一种从数据当中发现复杂规律，并且利用规律对未来时刻、未知状况进行预测和判定的方法\n",
    "        1.机器学习理论主要是设计和分析一些可以让计算机自动“学习”的算法\n",
    "2.分类：\n",
    "    1.监督学习：\n",
    "        1.分为：分类任务和回归任务\n",
    "            1.分类（监督学习）：二分类（只涉及两个类别的分类任务、分为正类和负类）和多分类（涉及多个类别的分类任务），找到最优决策边界\n",
    "            2.回归：输出连续数据、找到最有拟合、SSE评价或拟合优度评价\n",
    "    2.无监督学习：\n",
    "        1.分为：聚类和降维\n",
    "            1.聚类：无监督学习的分类\n",
    "            2.降维：将高维空间的点映射到低维度空间即信息冗余，进行压缩去除冗余信息\n",
    "    3.强化学习：\n",
    "        1.强化学习时智能体以试错的方式进行学习...\n",
    "3.数据集、分类、回归：Error\n",
    "4.数学基础：高等数学、线性代数、概率论与数理统计\n",
    "5.常用术语：\n",
    "    1.数据集：所有数据都=的集合成为数据集\n",
    "    2.样本：数据集中每条记录是关于一个事件或对象的描述，成为样本\n",
    "    3.属性：样本某方面的特征\n",
    "    4.特征向量：每个样本的特征对应的特征空间中的一个坐标向量\n",
    "    5.学习：从数据中学得模型的过程，这个过程通过执行某个算法完成\n",
    "    6.训练数据：训练中使用的数据 \n",
    "    7.测试：学习到模型后，使用其进行预测的过程\n",
    "    8.标记：训练数据中可能会指出训练结果的信息\n",
    "    9.泛化能力：学习到的模型应用在新样本上的能力，机器学习的目标是使得学习到的模型很好的适用于新样本，而不仅仅在训练样本上应用\n",
    "    10.训练误差：模型在训练集上的误差平均水平，度量模型对训练数据拟合的情况（太大：对训练集特征学习不够，太小：过度学习训练集特性、容易发生过拟合）\n",
    "    11.测试误差：模型在测试集上的误差平均值，度量模型的泛化能力，越小越好\n",
    "    12.过拟合：训练误差小而测试误差大，\n",
    "    13.欠拟合：训练误差和测试误差都很大，\n",
    "    14.正则化;为防止过拟合，给需要训练的目标函数加上一些规则（限制）\n",
    "    15.模型参数：模型内部的配置变量，试用数据进行估计或者学习得到\n",
    "    16.模型超参数：模型外部设置的变量，在学习过程中不会改变超参数，由人直接设定或者搜索算法选择用来估计模型，由经验得到，\n",
    "        超参数选择不当：梯度消失或结果不收敛\n",
    "    17.输入空间：输入的所有可能取值\n",
    "    18.输出空间：输出的所有可能取值\n",
    "        输入输出成对出现，有输入必有输出，每对输入输出作为一个样本\n",
    "    19.\n",
    "6.解决过拟合：减少训练样本和正则化\n",
    "    1.正则化：保留所有样本，减少样本的特征维数\n",
    "        2.欠拟合：高偏差\n",
    "        3.过拟合：高方差，偏差很小但方差很大（即拟合得到的曲线上下抖动）\n",
    "7.基本元素：特定的数据集、目标函数（度量，损失函数和代价函数）、模型、优化过程和优化算法（数学推导过程）\n",
    "    1.数据集：MINIST，CIFAR-10，ImageNet\n",
    "        1.数据集越\n",
    "    2.目标函数：目标函数的构造是机器学习的中心任务\n",
    "        1.有监督学习算法：在训练时通过优化一个目标函数得到模型\n",
    "        2.\n",
    "    3.损失函数就是代价函数：损失函数越小，模型拟合越好\n",
    "        1.L(Y,f(X))=(Y-f(X))^2\n",
    "        2.用一个函数来度量拟合程度\n",
    "        3.损失函数：是用来估量模型的预测值与真实值的不一致程度，它是一个非负实值函数，损失函数越小模型的数据拟合程度越好\n",
    "      \n",
    "\n",
    "'''\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "'''\n",
    "4.风险函数：\n",
    "    1.风险函数是损失函数的期望，输入的(X,Y)遵循一个数学期望但未知，因此无法计算\n",
    "    2.训练集上，f(X)关于训练集的平均损失称为经验风险，N^(-1)*Σ【L(yi,f(xi))】(N,i=1)\n",
    "    3.经验风险最小化和结构风险最小化，\n",
    "        定义J(f)=\n",
    "        1.J(f)专门用来度量模型的复杂度，在机器学习中也叫正则化常用的有L1、L2范数\n",
    "        2.最优化经验风险和结构风险，这个函数称为目标函数: min{N^(-1)*Σ[L(yi,f(xi))](N,i=1)}+λJ(f)\n",
    "5.机器学习模型：\n",
    "    1.简单地说，机器学习模型是学习数据特征与标签关系或学习数据特征内部关系的一个函数==机器学习模型就是一个映射\n",
    "    2.监督模型和无监督模型：\n",
    "        1.监督模型：模型在训练过程中根据数据输入和输出进行学习\n",
    "            1.分为：单模型和集成学习\n",
    "                1.单模型：\n",
    "                2.集成学习：将多个单模型进行组合构成一个强模型，强模型取\n",
    "            2.包括：分类、回归、标准等\n",
    "        2.无监督模型：从无标签数据中学习得到的模型\n",
    "            1.\n",
    "        3.通过对输入和输出之间的联合概率分布和条件概率分布进行建模的机器学习模型都可以称为概率模型\n",
    "    3.性能评价：\n",
    "        1.回归模型：\n",
    "            1.MSE：\n",
    "            2.RMSE：\n",
    "            3.MAE：\n",
    "        2.分类模型：\n",
    "            1.T:True F:False P:Positives N:Negatives\n",
    "              TP：系统预测为真、实际也为真 ； TN：系统预测为假，实际也为假\n",
    "              FP；系统预测为真、实际为假   ； FN：系统预测为假，实际为真\n",
    "              2.混淆矩阵: \n",
    "                TP FP\n",
    "                FN PN\n",
    "            2.错误率和准确率：\n",
    "                1.准确率在系统预测小概率事件时会很有误导性：\n",
    "                2.\n",
    "                    1.Classification error=errors/totals=\n",
    "                    2.Accuracy=1-errors=correct/totals\n",
    "            3.精确率和召回率：\n",
    "                1.召回率(查全率):recall,指分类正确的正样本个数占真正正样本个数的比例\n",
    "                2.精确率:precession,指分类正确的正样本个数占分类器判定为正样本的个数的比例\n",
    "                3.通常，召回率越高、精确率越低，反之亦然\n",
    "                4.\n",
    "6.优化算法：\n",
    "    1.常见：梯度下降法、牛顿法、其他衍生方法\n",
    "        1.其中，梯度下降是最常用的优化算法，\n",
    "        2.牛顿法(切线法):牛顿法的最大特点在于收敛快，“走了一步之后，梯度是否会变得更大”，\n",
    "            1.优点：二阶收敛，收敛速度快\n",
    "            2.缺点：每一步都求解目标函数的Hessian矩阵的逆矩阵，计算复杂\n",
    "'''"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "name": "python",
   "version": "3.12.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}
